dqn是onpolicy
...学习之路11之对无模型强化学习中on/off_policy, 随机/确定策略的理 ...
这两种方法的核心在于采样策略：确定性策略（如DQN）和随机性策略（如Sarsa和A2C）。确定性策略采样固定，而随机性策略采样受概率分布影响。DDPG属于off-policy学习，使用一个经验池，与之相对的是on-policy方法，如Sarsa，采样策略即优化策略，数据独立性较差。off-policy的优点在于探索更全面，理论收敛性更还有呢？
Sarsa则通过时间差分TD方法更新状态值，行为策略和目标策略保持一致，是on-policy算法。Q-learning进一步扩展了这一思想，允许使用off-policy策略，通过目标网络稳定训练过程，即使行为策略改变，也能利用过去的经验。在实际应用中，神经网络被用于处理连续状态空间，如DQN，它结合了Q-learning和神经网络，解决了后面会介绍。
这两种方法的核心在于采样策略：确定性策略（如DQN）和随机性策略（如Sarsa和A2C）。确定性策略采样固定，而随机性策略采样受概率分布影响。DDPG属于off-policy学习，使用一个经验池，与之相对的是on-policy方法，如Sarsa，采样策略即优化策略，数据独立性较差。off-policy的优点在于探索更全面，理论收敛性更还有呢？
Sarsa则通过时间差分TD方法更新状态值，行为策略和目标策略保持一致，是on-policy算法。Q-learning进一步扩展了这一思想，允许使用off-policy策略，通过目标网络稳定训练过程，即使行为策略改变，也能利用过去的经验。在实际应用中，神经网络被用于处理连续状态空间，如DQN，它结合了Q-learning和神经网络，解决了后面会介绍。
策略梯度方法（PG）是强化学习（RL）中经常使用的算法。基于值函数的DQN算法通过近似估算状态-动作值函数 来推断最优策略，而策略梯度方法则是直接优化策略。策略梯度方法的目标是找到一组最优的神经网络参数 最大化总收益函数关于轨迹分布的期望首先，定义我们的目标函数为：显然，直接求上式的梯度是有帮助请点赞。
为了根据采样模型进行操作，我们可以使用任何基于模型的强化学习算法。Bootstrapped DQN 将这一想法应用于无模型的深度强化学习中，并在Q 函数上维持近似后验。我们认为可以通过学习不同任务在Q 函数上的分布来将这一想法扩展到多任务环境中，并且这种分布对于新的相关任务中的探索非常有效。为了在元强化学习中引入后验是什么。
[强化学习-07]--DPG、DDPG -
DDPG是DPG的升级版，它将深度学习与AC（Actor-Critic）框架结合，专为连续动作空间设计。莫烦曾这样概括DDPG：它借鉴了DQN的成功，使用actor-critic结构，输出的是具体动作而非行为概率，极大地提高了稳定性和收敛性。DDPG的独特之处</ 相较于DPG，DDPG引入了深度学习，用卷积神经网络构建策略函数和Q函数后面会介绍。
Q-learning算法的函数近似器（function approximators），例如DQN及其变体，很大程度上都基于极小化MSBE损失函数。经常用到的trick有Replay Buffers和Target Networks。另外，在DDPG中如上文提到的连续动作空间中的max操作是难以实现，DDPG使用一个target policy network来计算一个action能够近似最大化 (Q 还有呢？
OpenAI 重磅文章出炉,8 种虚拟机器人仿真环境成为亮点_DeepTech深科技...
“打哪指哪”方法是机器学习中的常用方法之一，HER 可以跟任何基于新策略的强化学习算法(off-policy RL algorithm),如DQN 和DDPG 等联合使用。测试结果测试表明，HER 在“稀疏回报”奖励条件下的目标达成仿真环境中表现优异，具体如下图所示： 图丨成功率中值(线条)和四分位范围(阴影区域)都是在虚拟手掌-方框还有呢？
在股票市场中交易过两、三年的人，几乎都有一套自己的交易方法。虽然你有方法但如果还没有形成交易系统，那也先别着急去勉强建立，因交易系统是自然形成的.并不可人为刻意能建起来的。就好比计划经济与市场经济不断的适应市场的变化，时间长了，如果你还能在市场中生存.交易系统自然形成。而如果过早的后面会介绍。
如何建立自己的算法交易 -
使用DQN 方法，实现形式接近DP。 【Dabérius K, Granat E, Karlsson P. Deep Execution-Value and Policy Based Reinforcement Learning for Trading and Beating Market Benchmarks[J]. Available at SSRN 3374766, 2019.】使用了DDQN 和PPO 说完了。